ACE: Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation
ACE：面向LLM增强序列推荐的可控各向异性嵌入
🧭 序列推荐 · LLM嵌入初始化 · 各向异性控制 ★ 深度解读
Sungkyunkwan University
用线性自编码器连续控制LLM嵌入的各向异性程度，缓解几何不平衡并保留语义层次，提升序列推荐效果。
📌 工作参考价值（4 点）
- LLM物品嵌⼊预处理的标准化步骤：在电商/推荐业务中，如果使用大模型（如text-embedding-3-large）生成商品编码，可直接套用ACE进行后处理：对嵌入矩阵做SVD，用收缩函数 $g_\lambda(\sigma)=\sqrt{\sigma^2/(\sigma^2+\lambda)}$ 调整奇异值，再降维至目标维度。该操作是闭式解，计算开销小，可无缝集成到现有训练流程中。
- 平衡语义保留与各向同性：完全的白化（Whitening）会破坏语义主次，导致效果不稳定。ACE通过调节 $\lambda$ 提供连续控制，让从业者能在语义保真度和几何均匀性之间折中，避免因过度白化而损失重要语义方向。
- 架构无关的嵌入初始化：ACE对不同SR骨架（SASRec、GRU4Rec、BERT4Rec）均有效，说明该方法可作为通用初始化策略，应用到召回/排序模型的特征层，尤其在冷启动或语义稀疏场景下表现突出。
- 超参 $\lambda$ 的选择经验：实验表明中等 $\lambda$ （如10²量级）普遍最佳，可根据验证集Recall@K快速搜索；同时配合缩放因子 $\gamma$ 控制嵌入范数，避免过小或过大影响模型收敛。